Recent image degradation estimation methods have enabled single-image super-resolution (SR) approaches to better upsample real-world images. Among these methods, explicit kernel estimation approaches have demonstrated unprecedented performance at handling unknown degradations. Nonetheless, a number of limitations constrain their efficacy when used by downstream SR models. Specifically, this family of methods yields i) excessive inference time due to long per-image adaptation times and ii) inferior image fidelity due to kernel mismatch. In this work, we introduce a learning-to-learn approach that meta-learns from the information contained in a distribution of images, thereby enabling significantly faster adaptation to new images with substantially improved performance in both kernel estimation and image fidelity. Specifically, we meta-train a kernel-generating GAN, named MetaKernelGAN, on a range of tasks, such that when a new image is presented, the generator starts from an informed kernel estimate and the discriminator starts with a strong capability to distinguish between patch distributions. Compared with state-of-the-art methods, our experiments show that MetaKernelGAN better estimates the magnitude and covariance of the kernel, leading to state-of-the-art blind SR results within a similar computational regime when combined with a non-blind SR model. Through supervised learning of an unsupervised learner, our method maintains the generalizability of the unsupervised learner, improves the optimization stability of kernel estimation, and hence image adaptation, and leads to a faster inference with a speedup between 14.24 to 102.1x over existing methods.

Recently the focus of the computer vision community has shifted from expensive supervised learning towards self-supervised learning of visual representations. While the performance gap between supervised and self-supervised has been narrowing, the time for training self-supervised deep networks remains an order of magnitude larger than its supervised counterparts, which hinders progress, imposes carbon cost, and limits societal benefits to institutions with substantial resources. Motivated by these issues, this paper investigates reducing the training time of recent self-supervised methods by various model-agnostic strategies that have not been used for this problem. In particular, we study three strategies: an extendable cyclic learning rate schedule, a matching progressive augmentation magnitude and image resolutions schedule, and a hard positive mining strategy based on augmentation difficulty. We show that all three methods combined lead up to 2.7 times speed-up in the training time of several self-supervised methods while retaining comparable performance to the standard self-supervised learning setting.

Federated learning has been predominantly concerned with collaborative training of deep networks from scratch, and especially the many challenges that arise, such as communication cost, robustness to heterogeneous data, and support for diverse device capabilities. However, there is no unified framework that addresses all these problems together. This paper studies the challenges and opportunities of exploiting pre-trained Transformer models in FL. In particular, we propose to efficiently adapt such pre-trained models by injecting a novel attention-based adapter module at each transformer block that both modulates the forward pass and makes an early prediction. Training only the lightweight adapter by FL leads to fast and communication-efficient learning even in the presence of heterogeneous data and devices. Extensive experiments on standard FL benchmarks, including CIFAR-100, FEMNIST and SpeechCommandsv2 demonstrate that this simple framework provides fast and accurate FL while supporting heterogenous device capabilities, efficient personalization, and scalable-cost anytime inference.

本文调查了一种捍卫对抗性攻击的方法家族，其成功的部分原因是创造了嘈杂，不连续或不足的损失景观，而对手很难驾驶。实现这种效果的一种常见但不是普遍的方法是使用随机神经网络。我们表明，这是梯度混淆的一种形式，并根据Weierstrass变换提出了对基于梯度的对手的一般扩展，该变换平滑了损失函数的表面并提供了更可靠的梯度估计。我们进一步表明，相同的原则可以增强无梯度的对手。我们证明了消失方法对由于这种混淆而表现出鲁棒性的随机和非传统对抗防御的功效。此外，我们将分析它与对转型的期望相互作用。目前用于攻击随机防御的流行梯度采样方法。

在给定的学习任务中提供不向导会传达出一个关键的归纳偏见，如果正确指定，可以导致样本效率学习和良好的概括。但是，对于许多感兴趣的问题来说，理想的不变性通常是未知的，这既导致了工程知识，又试图为不变性学习提供框架。但是，不变性学习是昂贵的，并且对于流行的神经体系结构而言是密集的。我们介绍了摊销不变性学习的概念。在前期学习阶段，我们学习了跨越不变性的特征提取器的低维流形，该曲线跨越了不变性，可以使用超网络进行不同的转换。然后，对于任何感兴趣的问题，模型和不变性学习都可以通过拟合低维不变性描述符和输出头的速度快速有效。从经验上讲，该框架可以在不同的下游任务中识别适当的不向导，并与常规方法相比，导致可比或更好的测试性能。我们的Hyper Invariance框架在理论上也很吸引人，因为它可以实现概括性结合，从而在模型拟合和复杂性之间的权衡中提供了一个有趣的新工作点。

我们研究了高度实用但相对研究的潜在域适应性问题，其中应将源模型适应包含未标记域的混合域和域 - IRRERRELERRELERRELERVANS的目标数据集。此外，受数据隐私要求以及对适应本地数据分布的嵌入式和资源约束设备的需求的激励，我们专注于设置无馈源源域的适应到源数据集，也可以返回传播。我们的解决方案是元学习网络，能够嵌入混合相关目标数据集，并使用交叉注意力动态适应目标示例。最终的框架可导致强大的ERM基线的一致改进。我们还表明，我们的框架有时甚至在域监督适应的上限上有所改善，在这种适应中，仅提供与域相关的实例进行适应。这表明人类注释的域标签可能并不总是最佳的，并提高了通过自动实例选择做得更好的可能性。

已知最近的清晰度感知最小化（SAM）可以找到平坦的最小值，这有助于改善稳健性。 Sam通过报告当前迭代周围的小社区内的最大损失值来修改损失函数。但是，它使用欧几里得球来定义邻域，这可能是不准确的，因为神经网络的损失函数通常是根据概率分布（例如类预测概率）定义的，从而使参数空间空间非欧几里得。在本文中，我们在定义邻里时考虑了模型参数空间的信息几何形状，即用Fisher信息引起的椭圆形取代Sam的欧几里得球。我们称为Fisher Sam的方法定义了符合基础统计歧管的内在度量的更准确的邻域结构。例如，由于我们的Fisher Sam避免了参数空间几何形状，因此SAM可能会在附近或不当远处探测最坏情况下的损失值。最近，另一种自适应SAM方法会根据参数幅度的规模拉伸/收缩欧几里得球。这可能是危险的，有可能破坏邻里结构。我们证明了在几个基准数据集/任务上提出的Fisher SAM的性能提高。

自我监督的学习是一个强大的范例，用于在未标记的图像上学习。基于实例匹配的大量有效的新方法依赖于数据增强来推动学习，这些方法达成了优化流行识别基准的增强方案的粗略协议。但是，有强有力的理由可疑计算机视觉中的不同任务需要对不同（IN）差异进行编码的功能，因此可能需要不同的增强策略。在本文中，我们衡量了对比方法学到的修正学知识，并确认他们确实学会了与使用的增强的不变性，进一步表明，这一不变性大大转移到与姿势和照明的相关真实变化的变化很大程度上转移。我们展示了学习的InorRARCES强烈影响下游任务性能，并确认不同的下游任务从极性相反（IN）差异中受益，导致使用标准增强策略时的性能损失。最后，我们证明，具有互补的修正条件的表现简单融合可确保对所考虑的所有不同下游任务进行广泛的可转换性。

Meta Learning几次分类是最近获得巨大关注的机器学习中的新出现问题，其中目标是学习一个可以快速适应新任务的模型，只有少数标记的数据。我们认为贝叶斯高斯过程（GP）方法，其中我们先前学习GP，并且通过从后部推理的GP预测模型进行对新任务的适应。我们采用Laplace后近似，但是为了规避寻找地图解决方案的迭代梯度步骤，我们将新的线性判别分析（LDA）插件作为地图解决方案介绍。从本质上讲，地图解决方案近似于LDA估计，但要在考虑到GP，我们采用先前的调整来估算LDA的共享方差参数，这确保了调整后的估计在先前与GP一致。这使得能够闭合可分辨率的GP后断和预测性分布，从而允许快速的元训练。我们对以前的方法表现出相当大的改进。

元学习为新任务的数据有效学习提供了一种流行且有效的方法。然而，迄今为止，Meta-Learning的几个重要问题已经难以学习。例如，在现实世界中的性能下降，元学习者必须从策划任务的广泛和潜在多模态分布中学习;当Meta-Train和Meta-Test任务分布之间存在分发偏移时。由于任务分布的形状，并且它们之间的偏移在标准基准中，这些问题通常难以研究。我们提出了渠道编码问题作为元学习的基准。频道编码是一个重要的实际应用，自然出现任务分布，并且快速适应新任务实际上是有价值的。我们使用MetACC基准来研究Meta-Learning的几个方面，包括任务分配宽度和转变的影响，可以在编码问题中控制。迈出，Metacc为社区提供了一个工具，用于研究元学习的能力和限制，并推动实际上强大且有效的元学习者的研究。